Aan het begin van de 14de eeuw lieten de Clermonts, afstammelingen van de Walcourts, een eerste versterking op het oord van het kasteel van Harzé bouwen. Het in Maaslandse Renaissancestijl stijl gebouwde kasteel dateert in zijn huidige vorm uit de 16de eeuw. Het is volledig gebouwd in de steen uit de streek. De stallen en schuren dateren uit 1723 en de conciërgewoning uit 1724. Het prachtige voorplein van het kasteel bestaat uit een galerij uit de Italiaanse renaissancestijl. In het kasteel bevindt zich een fraaie gravenzaal.
Aan het kasteel zijn grote namen verbonden, zoals de la Marck, de Ligne, de Lynden, de Suys, de Rahier en de laatste eigenaar, de familie de Potter d’Indoye. Tussen 1909 en 1924 werd onder leiding van architect Camille Bourgault de gevels van dit opmerkelijke kasteel gerestaureerd.
In 1965 werd het kasteel onder bescherming van Monumentenzorg geplaatst en in 1973 door de Provincie Luik aangekocht met het doel er een toeristisch centrum van te maken. Het geeft onderdak aan het Museum van de Maalderij en van Bakkerij en wordt gebruikt als decor voor evenementen.